A collection of information about Data Augmentation libraries for Image Processing.
last updated on 10/10/2023
Albumentations boasts several qualities: it supports all common computer vision tasks; provides a simple unified API to work with all data types; contains more than 70 different augmentations; works with popular deep learning frameworks such as PyTorch and TensorFlow.
Transformations | Description | Tags | |||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1. | from Blurs the input image using a Generalized Normal filter with a randomly selected parameters. This transform also adds multiplicative noise to generated kernel before convolution. See Reference. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
2. | from Augmentation to apply affine transformations to images. This is mostly a wrapper around the corresponding classes and functions in OpenCV. See Reference. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
3. | from Blurs the input image using a random-sized kernel. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
4. | from Applies Contrast Limited Adaptive Histogram Equalization to the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
5. | from Crops the central part of the input. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
6. | from Randomly drops channels in the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
7. | from Randomly rearranges channels of the input RGB image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
8. | from CoarseDropout of the rectangular regions in the image. See Reference. |
DROPOUT | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
9. | from Randomly changes the brightness, contrast, and saturation of an image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
10. | from Crops region from image. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
11. | from Crops and pads images by pixel amounts or fractions of image sizes. Cropping removes pixels at the sides (i.e. extracts a subimage from a given full image). Padding adds pixels to the sides (e.g. black pixels). This transformation will never crop images below a height or width of 1. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
12. | from Crops area with mask if mask is non-empty, else make random crop. |
||||||||||||||||||||||||||||||||
13. | from CoarseDropout of the square regions in the image. See Reference. |
DROPOUT | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
14. | from Apply defocus transform. See here. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
15. | from Decreases image quality by downscaling and upscaling back. |
WORSENING | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
16. | from Elastic deformation of images as described in Simard, Steinkraus and Platt, “Best Practices for Convolutional Neural Networks applied to Visual Document Analysis”, in Proc. of the International Conference on Document Analysis and Recognition, 2003 (with modifications). |
DISTORTION | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
17. | from Emboss the input image and overlays the result with the original image. |
SHARPNESS | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
18. | from Equalizes the image histogram. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
19. | from Augmenter from Fourier Domain Adaptation Simple “style transfer”. |
||||||||||||||||||||||||||||||||
20. | from Augments RGB image using FancyPCA from Krizhevsky’s paper ImageNet Classification with Deep Convolutional Neural Networks. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
21. | from Flips the input either horizontally, vertically or both horizontally and vertically. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
22. | from Applies gaussian noise to the input image. |
NOISE | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
23. | from Blurs the input image using a Gaussian filter with a random kernel size. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
24. | from Applies glass noise to the input image. See Reference. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
25. | from |
DISTORTION | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
26. | from Drops out rectangular regions of an image and the corresponding mask in a grid fashion. See GridMask. |
DROPOUT | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
27. | from Applies histogram matching. It manipulates the pixels of an input image so that its histogram matches the histogram of the reference image. If the images have multiple channels, the matching is done independently for each channel, as long as the number of channels is equal in the input image and the reference. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
28. | from Flips the input horizontally around the y-axis. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
29. | from Randomly changes hue, saturation and value of the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
30. | from Applies camera sensor noise. |
NOISE | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
31. | from Decreases image quality by Jpeg, WebP compression of an image. |
WORSENING | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
32. | from Invert the input image by subtracting pixel values from 255. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
33. | from Decreases image quality by Jpeg compression of an image. |
WORSENING | |||||||||||||||||||||||||||||||
34. | from Rescales an image so that maximum side is equal to |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
35. | from Image & mask augmentation that zero out mask and image regions corresponding to randomly chosen object instance from mask. Mask must be single-channel image, zero values treated as background. Image can be any number of channels. Inspired by Severstal: Steel Defect Detection discussion. |
DROPOUT | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
36. | from Blurs the input image using a median filter with a random aperture linear size. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
37. | from Applies motion blur to the input image using a random-sized kernel. |
BLUR | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
38. | from Multiplies image to random number or array of numbers. |
NOISE | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
39. | from |
DISTORTION | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
40. | from Pads side of the image/max if side is less than desired number. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
41. | from Performs a random four point perspective transform of the input. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
42. | from Applies affine transformations that differ between local neighbourhoods. This augmentation places a regular grid of points on an image and randomly moves the neighbourhood of these point around via affine transformations. This leads to local distortions. |
DISTORTION | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
43. | from Fits a simple transform (such as PCA, StandardScaler or MinMaxScaler) on both original and reference image, transforms original image with transform trained on this image and then performs inverse transformation using transform fitted on reference image. |
||||||||||||||||||||||||||||||||
44. | from Sets pixels to 0 with some probability. |
||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
45. | from Reduces the number of bits for each color channel. |
STYLE FILTER | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
46. | from Randomly shifts values for each channel of the input RGB image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
47. | from Randomly changes brightness of the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
48. | from Randomly changes brightness and contrast of the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
49. | from Randomly changes contrast of the input image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
50. | from Crops a random part of the input. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
51. | from Crops bbox from image randomly cut parts from borders without resize at the end. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
52. | from Crops bbox from image with random shift by x,y coordinates. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
53. | from Simulates fog for the image (Automold). |
WEATHER | |||||||||||||||||||||||||||||||
54. | from |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
55. | from Adds gravels (Automold). |
STREET | |||||||||||||||||||||||||||||||
56. | from Random shuffles grid’s cells on image. |
||||||||||||||||||||||||||||||||
57. | from Adds rain effects (Automold). |
WEATHER | |||||||||||||||||||||||||||||||
58. | from Torchvision’s variant of crop a random part of the input and rescale it to some size. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
59. | from Randomly rotates the input by 90 degrees zero or more times. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
60. | from Randomly resizes the input. Output image size is different from the input image size. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
61. | from Simulates shadows for the image (Automold). |
STREET | |||||||||||||||||||||||||||||||
62. | from Crops a random part of the input and rescale it to some size without loss of bboxes. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
63. | from Crops a random part of the input and rescale it to some size. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
64. | from Bleach out some pixel values simulating snow (Automold). |
WEATHER | |||||||||||||||||||||||||||||||
65. | from Simulates Sun Flare for the image (Automold). |
WEATHER | |||||||||||||||||||||||||||||||
66. | from Randomly changes the relationship between bright and dark areas of the image by manipulating its tone curve. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
67. | from Resizes the input to the given height and width. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
68. | from Creates ringing or overshoot artefacts by convolving image with 2D sinc filter. See Reference. |
WORSENING | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
69. | from Rotates the input by an angle selected randomly from the uniform distribution. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
70. | from Rotates the input inside the input’s frame by an angle selected randomly from the uniform distribution. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
71. | from Sharpens the input image and overlays the result with the original image. |
SHARPNESS | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
72. | from Randomly applies affine transforms: translates, scales and rotates the input. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
73. | from Rescales an image so that minimum side is equal to |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
74. | from Inverts all pixel values above a threshold. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
75. | from Simulates corruption which can occlude a lens in the form of rain or mud. See Reference. |
||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
76. | from Transforms images partially/completely to their superpixel representation. |
TESSELLATION | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
77. | from Applies blending of input image with specified templates. |
||||||||||||||||||||||||||||||||
78. | from Converts the input RGB image to grayscale. If the mean pixel value for the resulting image is greater than 127, inverts the resulting grayscale image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
79. | from Applies sepia filter to the input RGB image. |
PHOTOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
80. | from Transposes the input by swapping rows and columns. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
81. | from Sharpens the input image using Unsharp Masking processing and overlays the result with the original image. See Reference. |
SHARPNESS | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
82. | from Flips the input vertically around the x-axis. |
BASIC GEOMETRY | |||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||
83. | from Applies zoom blur transform. See here. |
BLUR | |||||||||||||||||||||||||||||||
|